雑談 2025年2月

from 💬雑談

2025/2/27

5-Day Gen AI Intensiveの内容を更新してまた開催するみたいcak.icon

https://rsvp.withgoogle.com/events/google-generative-ai-intensive_2025q1

おっとう？takker.icon

2025/2/26

寝ようと思ったタイミングでWan2.1とか言うヤベーイ性能のモデルが現れて気がつくと二時morisoba65536.icon

上の執筆時点〜今までずっとデモが死んでるので素直にComfyUI対応待つほうが良さそうmorisoba65536.icon

https://blog.comfy.org/p/wan21-video-model-native-support?r=4z50rt&utm_campaign=post&utm_medium=web&triedRedirect=true公式サポート

Kijai先生といい(仕事じゃないのに)仕事が早すぎん？nomadoor.icon

既にggufも来てるmorisoba65536.icon

(2025/2/28)まだ普通に安定してない(なんか指定したんと解像度違うエラー出る)のでComfyUIで使うのはもう少し待ったほうが良さげmorisoba65536.icon

2月入ったあたりから新しいオープンなvlmが増えてきた感がある(何故かllm界隈時期が被りがち、企業同士は意図的に被せてるのもあるだろうが…)morisoba65536.icon

2025/2/25

LLMなにもわからないtakker.icon

5000 pages!wogikaze.icon

https://gyazo.com/7add3d95b43aea05c01e6348c43257e7

わーいわーいtakker.iconnomadoor.iconmorisoba65536.iconcak.icon

2025/2/23

https://huggingface.co/blog/Kseniase/coa-and-co-ragRAGの改善のための論文やら(複数が1本の記事になってるので分割するのにカロリーがいるのでひとまず雑談にぶち込む)morisoba65536.icon

2025/2/22

https://sc-bakushu.hatenablog.com/entry/2024/04/20/050213が書かれた辺りから低ビット量子化(4bit〜3bit)のポジティブレポートと言うか「最近性能上がったよね」的な報告は増えているね、という感想morisoba65536.icon

2023年頃は割と大型モデルを量子化したときの劣化が大きい(特に4bit以下)と言う報告が多かったのでiMatrix量子化が広まったのも大きそう。

ただ、量子化して動かせるようになってももともと小さなモデルに比べて(同サイズまで縮めた大型モデルの)量子化モデルは速度が遅い(特にモバイルデバイスなどで顕著)ので、小型モデルに蒸留するのと、大きいモデルを動くまで量子化するのとどちらがよいのかは悩ましい所morisoba65536.icon

個人的にはゲームに組み込みたい気持ちはあったのでようやく技術レベルで(ゲームに組み込んで)使い物になりそうになってきたが性能と挙動の速さのトレードオフに頭悩ませそうな所

2025/2/21

https://note.com/taichiro_endo/n/n0d657aa65f45成人発達理論に基づいた、AIの垂直的成長を支援する学習フレームワーク

生成AIに発達理論から倫理を覚えさせる学習方法に付いて書かれてる

ついに心理学の領域に入り始めたかmorisoba65536.icon

先週ビジネスの文脈で見たばっかりの理論wogikaze.icon

https://x.com/UnslothAI/status/1892640995847901684一月も経ってないのにすでにGRPOのメモリ消費量が更に最低要件2GBも削減された…(全体でオリジナルより90%削減)

unsloth.icon凄いwogikaze.icon

DeepSeek(@deepseek_ai)

🚀 Day 0: Warming up for #OpenSourceWeek !

We're a tiny team @deepseek_ai exploring AGI. Starting next week, we'll be open-sourcing 5 repos, sharing our small but sincere progress with full transparency.

These humble building blocks in our online service have been documented,…

DeepSeek AIがなにやら動くみたいwogikaze.icon

2025/2/20

そろそろGrok3も来そうだが恐らくスケーリングでぶん殴ってくる構造だろうから「質より規模vs規模より質」の一つのベンチマーク資料にはなりそうではあるmorisoba65536.icon

ここに更に大規模MoE&GRPOの超低コストのR1が殴り込んできたので性能向上に対してのアプローチが混迷を極めてきた

量子コンピュータも興味あるけどai分野に使うほどビット数がないのでこのprojectにはあんまり書けないなあwogikaze.icon

2025/2/18

AIに検索させ始めて思うのが「思ってた以上に調べたいことに対して『検索すべきキーワード』に分割すること」が大変なタスクだと気付かされる…(真面目にかなりめんどい)morisoba65536.icon

ましてやページを数十ページ単位で掘り進むの我ながら昔はよくやってたな…となる(今でもディープな情報探そうとすると検索候補が無くなるまで掘り進まないと行けないことはあるが…)

2025/2/16

調べてみたら量子コンピュータ黎明の動作に超電導が必要ないらしい。

量子コンピュータの実用化の壁の一つに超電導必須があったのでそれがなくなったのが大きそう

Elon Musk(@elonmusk)

Grok 3 release with live demo on Monday night at 8pm PT.

Smartest AI on Earth.

はよwogikaze.icon

2025/2/14

https://pc.watch.impress.co.jp/docs/news/1662570.html

https://www3.nhk.or.jp/news/html/20250214/k10014722311000.html自民 AIによる権利や利益侵害発生で国指導など法案会議で了承

DRAMとか96GBもあれば余裕やろーと思ってたらKTransformersでDeepSeek-R1動かすには382GB必要ってゆわれてDRAM足りない…ってなってるmorisoba65536.icon

Dynamic 1.58-bit

冷静に考えたらこれで131GBで前から動かせたやmorisoba65536.icon

Google Gemini App(@GeminiApp)

Rolling out starting today, you can ask Gemini to consider your past chats to craft its responses. Easily pick up where you left off or have it summarize a previous topic. You can view, edit, or delete any chats you’ve had with Gemini, and see when it’s used.

Try it in Gemini…

https://video.twimg.com/tweet_video/GjseD0XWcAEb9-N.mp4

Gemini Memory

2025/2/13

GPT-4.5

https://openai.com/index/sharing-the-latest-model-spec/Sharing the latest Model Spec

https://model-spec.openai.com/2025-02-12.htmlModel Spec (2025/02/12)

Sam Altman(@sama)

i think we are going to initially offer 10 uses per month for chatgpt plus and 2 per month in the free tier, with the intent to scale these up over time.

it probably is worth $1000 a month to some users but i'm excited to see what everyone does with it!

> 0.005 Seconds (3/694)(@seconds_0)

> ok, OAI Deep Research is worth probably $1000 a month to me. This is utterly transformative to how my brain engages with the world. Im beyond in love and a little in awe.

OpenAI(@OpenAI)

Two updates you'll like—

📁 OpenAI o1 and o3-mini now support both file & image uploads in ChatGPT

⬆️ We raised o3-mini-high limits by 7x for Plus users to up to 50 per day

https://civitai.com/models/1241697/anti-ai-hana-chan-ai?modelVersionId=1399460Anti-AI Hana-chan / 反AIのハナちゃん - v1.0_illustrious

wwwwwwwwogikaze.icon

d(@rom13856511)

The InformationによるとAnthropicのClaudeは数週間以内に最新バージョンがリリースされる予定

https://gyazo.com/5a50cf0f15f5a3d60d800855bbacf868

2025/2/12

しばらくROMをしていたが書いてみることにした、よろしくお願いします！cak.icon

/icons/わーい.icon*2takker.iconwogikaze.iconnomadoor.iconmorisoba65536.icon

2025/2/11

Perplexity.ai、プロプランでも話が長引いて少し飛躍する(例えばllmの壁打ち中に画像生成で使われている手法が使われてるか問うた)時に前の文脈忘れて聞かれた内容にしか答えない時が多いの割と困るmorisoba65536.icon

perplexityは文脈をほとんど無視すると思って使っているwogikaze.icon

検索窓みたいな感じ

検索した結果を構造化(風)に返してもらうのが一番便利

https://note.com/kind_crocus236/n/n652432562252

Chain of Thoughtを考えた時、Chain of Thoughtに含まれる情報量が多ければ多いほど、最終的な答えが正しくなる確率が高くなります。そのため、Chain of Thoughtを英語で行うモデルは、フィンランド語で行うモデルよりも、正しい答えにたどり着く確率が高くなります。

じゃあ人間への可読性を投げ捨てて各言語の情報量を好きにつなげて「AIの考えた最強言語」で考えさせれば性能上がるのでは…と思ったらDeepSeek-R1-Zeroがそれ(言語が混ざる)だったな…morisoba65536.icon

人類に扱いづらい為にデチューンされてしまった…morisoba65536.icon

最近2個でた論文では出力する必要もないから脳内にとどめているみたい?wogikaze.icon

Chain of CONTINUOUS Thought, depth-recurrent language model

DeepSeek-R1ショック、ぶっ壊したものの大きな一つとして「シンギュラリティは来ない派の来ない理由」を割と尽く粉々にしていった感はありますね…morisoba65536.icon

「人間に比べて時間も金もかかりすぎる！」→2ヶ月約8億円で(V3を)作った(高給取りな経営者とかならこのくらいのコストはもらってるだろうし、その人らが2ヶ月より速く爆速で成長するわけではなく少なくとも人間は20年近くかかってる)

「計算資源がかかりすぎる！」→基本市販(まあ企業向けのものはあるが)の製品で組まれた学習環境、更にDeepseekショックの冷めやらぬうちにここで使われた強化学習手法そのものは一般家庭で普通に動くレベルになった(後者はDeepseek社ではなくunslothの兄弟がやった事だが…)

「でも人間がいちいち教えてるんじゃ人間より早く賢くはならないんじゃ…」→RLVRとかGRPOとかで問題与えたら勝手に学習してくれるよ！

2025/2/10

OpenAI(@OpenAI)

What do you want to create next?

https://video.twimg.com/ext_tw_video/1888752564000202752/pu/vid/avc1/1280x720/lne8igpzIUdysBKE.mp4?tag=12#.mp4

Apple/Adobe感が出てきたwogikaze.icon

一般ユーザー向けのイメージ戦略優先な所はたしかにAppleっぽいmorisoba65536.icon

2025/02/08

生成AI、時間情報の扱いが下手説が割とあるmorisoba65536.icon

例えば2000年以前の情報を調べて、と指示しても2000年で年数フィルタせず2000年というキーワードで検索したりする。

けっこうわかるはるひ.iconcak.icon

2025/02/07

Train your own R1 reasoning model with Unsloth

遂に普通のご家庭(の範囲で)llmをファインチューン出来る時代になった…(お家でllmにAha Momentさせよう！)

Google Colabを使えばほんとにPC性能を問わないので普通の家でも出来る

DeepSeek-R1/DeepSeek V3、意外と数学苦手説が個人的に出てきた…

のQwQ-32B-Previewの技術ブログの問題に正解できない…morisoba65536.icon

最もこの問題が相当難しいようで、GeminiはGemini 2.0 Flash Thinkingですら「問題が間違えてる！」ってキレて勝手に問題書き換えたりするし素の状態で正解できたのがo3-miniしか確認出来ていない。

SCoTを使えばClaude 3.5 Sonnetは解けたが、流石に素の質問だと不正解、Claude 3.5 Haikuは何やっても解けない。

ほんとに難しいのか上位モデルのはずのQVQ-72B-Previewが普通に解けない…どころかSCoTによるガイドなしだとQwen2.5-Maxすら解けない(MaxはSCoTつきなら解ける)morisoba65536.icon

R1が数学苦手と言うより問題が難しすぎるだけの可能性が出てきたな…morisoba65536.icon

/Mijinko/Streamボタンを表示するUserCSS

勝手に生やしましたtakker.icon

(`･ω･´)bnomadoor.icon

サイトデザインにそぐわなそうなら外しました

2025/02/05

OpenAIがリブランディング

https://openai.com/ サイトもきれいに

https://eetimes.itmedia.co.jp/ee/spv/2502/04/news137.html

SONOSメモリー

Lisan al Gaib(@scaling01)

AWS mentioned Claude 3.5 Opus

DONT PLAY WITH MY FEELINGS LIKE THAT 👀

https://gyazo.com/7f3b6388e1be9a9ae2f9e353ec39b837

2025/2/3

https://x.com/furoku/status/1885672363653742636o1／o3-miniは割とお硬い（人間の意見に流されづらい）

スクショを見る限りR1は意外と議題によっては流されやすいようだmorisoba65536.icon

https://x.com/liangchen5518/status/1886171667522842856R1-Vの開発者の投稿とかmoondream2とか、 VLMに関しては「vlmはシンプルに状況把握さえ出来ればええねん、対話機能とかインターフェイスとして機能する最低限あれば十分」派も結構多いように感じる(私はどっちかというと「PDF画像(本)とか動画とか読み込ませて複雑なタスクを解かせたりしたい」派なので7Bクラス以上を割と注視してる)

単独ページ作るほどではないけど雑多にツール類置きたい、的なリンクはどうしようか割と悩む（URL一個ポン付からページ作っちゃってOKなんですかね？）morisoba65536.icon

粒度感としては下記だけみたいなページ(下記は自分の作ったもの)

https://github.com/purinnohito/gguf_to_safetensorspurinnohito/gguf_to_safetensors

GGUFからsafetensorに戻すツール

1万ページ作っても破綻しないwikiなので大丈夫wogikaze.icon

/rakusai/Scrapboxは飛躍が多い

必要なときは取り出しやすい

実際このページは外部project&タイトルに関連する言葉がなくても見つかった

OK，適当にメモっときたいAIツール類雑にページ作るぜmorisoba65536.icon

https://www.nikkei.com/article/DGXZQOGN290GF0Z20C25A1000000/?n_cid=SNSTW001OpenAI･アルトマンCEO、AI端末の開発表明 iPhone以来の革新狙う - 日本経済新聞

スマートフォンに代わる生成AI（人工知能）専用端末の開発に乗り出すと表明した。独自半導体の開発にも意欲を示した。

https://www.nikkei.com/article/DGXZQOUB0210D0S5A200C2000000/ソフトバンクグループとOpenAI、日本でAI網 500社に参加要請 - 日本経済新聞

houseiwang

Q. Deep-seekなども踏まえ、Open AIとしてOpen Sourceモデルを出すつもりはあるのか？

A. 世の中の流れがOpenな方向性に向かっていっている。また、社会もOpenモデルのトレードオフを受容できる段階に近づいている。我々も何らかの形で貢献していこうと考えている。

https://innovatopia.jp/ai/ai-news/47447/ニュース記事

思えばwhisper以来かな？morisoba65536.icon

github.com/openaiでこのprojectを検索したら評価ツールとかだけwwogikaze.icon

https://www.youtube.com/live/Gv7torZn5lM?si=925FOh5cDZXQ-87h

OpenAI&softbank

https://x.com/sbg_news/status/1886291661606760573https://www.softbank.jp/corp/set/data/news/press/sbkk/2025/20250203_01/pdf/20250203_01.pdfOpenAI およびソフトバンクグループが提携し、企業用最先端 AI を開発・販売することに合意

個々の企業の全てのシステム、データを安全に統合し、当該企業専用にカスタマイズされた企業用最先端AI「クリスタル・インテリジェンス（Cristal intelligence）」の開発・販売に関するパートナーシップを発表しました。

日本企業向けにカスタマイズされたクリスタル・インテリジェンスの展開を加速するため、OpenAI およびソフトバンクグループは合弁会社である「SB OpenAI Japan」を設立することで合意しました。

https://news.yahoo.co.jp/articles/e6f39b89452704702258906a8d669b6cde019dad石破首相、ソフトバンクＧ孫氏やオープンＡＩアルトマン氏らと面会へ（Bloomberg） - Yahoo!ニュース

https://news.yahoo.co.jp/articles/31a4913337943156f6e092dce39c7da9483cce53石破首相、日米会談で「AI協力深めたい」孫、アルトマン両氏と面会（毎日新聞） - Yahoo!ニュース

首相は面会で「ソフトなインフラ整備という観点から、AIが大きな役割を果たすことを期待している」と述べ、国内でのAI普及に期待感を表明。

微妙wogikaze.icon

石破さん、よくアルトマンに会わせてもらえたなーと思ったtakker.icon

2025/2/2

AI and Memory Wall

2025/2/1

Sam Altman(@sama)

got one more o3-mini goody coming for you soon--i think we saved the best for last!

Discordに入り浸りすぎて無限に書くことが出てくるwogikaze.icon

簡単にinboxに入れられるBotが必要だろうか

サボっていた分がRSSリーダーに溜まりまくっていく…書かねばnomadoor.icon

そういえばいつの間にかComfyUIの実行バッチが素早く積まれるようになってる(100件とか積んだときにキャンセルしようとしても追加が終わりきってなくて延々追加されるあれがなくなってる)morisoba65536.icon

あとここ数日DeepSeek-R1が人多すぎるのか昼間ほぼ繋がらなくなってるmorisoba65536.icon

数学に関する質問するときは回答が割と噛み砕いてくれて親切だから最近良く使ってたのだが…morisoba65536.icon

サバはまあまあ生きてるが今度はネット検索機能が死んだ模様。サイバー攻撃の噂もあるし流石に大変そうである。morisoba65536.icon

いやまあ、単純性能が高い上にそんなモデルをMITで野に放った(ついでにAPIベースすら蒸留に使ってええよ、と言う)のだからAIウォッチャーな私見たいなオタクだけでなく研究者も悲喜こもごもだし一般にも無料開放してるので一般人も乗り込んで来て遂には株価が暴れたりしだしてるのでここまで影響あればそりゃトラブルの1つ2つじゃすまんか…morisoba65536.icon